Raport
Zuzanna Zelek
11.12.2021
Ponadto raport powinien zaczynać się od rozdziału podsumowującego całą analizę, streszczającego najważniejsze spostrzeżenia analityka (ang. executive summary). Należy tu podkreślić, że właśnie zrozumienie danych, czytelna prezentacja wyników oraz stosowanie się do podstawowych zasad wizualizacji danych będą, obok technicznej strony raportu, podstawą do oceny.
Biblioteki
Przygotowanie wymaganych bibliotek.
if(!require(readxl)) install.packages("readxl", repos = "http://cran.us.r-project.org")
library(readxl)
if(!require(dplyr)) install.packages("dplyr", repos = "http://cran.us.r-project.org")
library(dplyr)
if(!require(ggplot2)) install.packages("ggplot2", repos = "http://cran.us.r-project.org")
library(ggplot2)
if(!require(gganimate)) install.packages("gganimate", repos = "http://cran.us.r-project.org")
library(gganimate)
if(!require(magick)) install.packages("magick", repos = "http://cran.us.r-project.org")
library(magick)
if(!require(tidyr)) install.packages("tidyr", repos = "http://cran.us.r-project.org")
library(tidyr)
if(!require(corrplot)) install.packages("corrplot", repos = "http://cran.us.r-project.org")
library(corrplot)
if(!require(caret)) install.packages("caret", repos = "http://cran.us.r-project.org")
library(caret)Zapewnienie powtarzalności
W celu zapewnienia powtarzalności raportu wymagane jest ustawienie ziarna generatora liczb losowych.
setSeed <- function() {
set.seed(24)
}
setSeed()Wczytywanie danych
Wczytywanie danych z plików.
worldDevelopmentIndicators <- read_xlsx("Data pack/World_Development_Indicators.xlsx", na = '..')
currencyExchangeRates <- read.csv("Data pack/CurrencyExchangeRates.csv")
goldPrices <- read.csv("Data pack/Gold prices.csv")
spComposite <- read.csv("Data Pack/S&P Composite.csv")
bitcoinMeta <- read.csv("Data pack/Bitcoin/BCHAIN_metadata.csv")
bitcoinDiff <- read.csv("Data pack/Bitcoin/BCHAIN-DIFF.csv")
bitcoinHrate <- read.csv("Data pack/Bitcoin/BCHAIN-HRATE.csv")
bitcoinMkpru <- read.csv("Data pack/Bitcoin/BCHAIN-MKPRU.csv")
bitcoinTrvou <- read.csv("Data pack/Bitcoin/BCHAIN-TRVOU.csv")Czyszczenie danych
Dane na temat wskaźników światowych zapisane zostały z częstotliwością raz na rok. Jednak aby nie ograniczać zanadto liczby przypadków wykorzystywanych w dalszej części do utowrzenia regresora, dane o cenach złota zostały zgrupowane na poziomie miesiąca. Wartość dla danego miesiąca została wyliczona jako mediana, aby uzyskać średnią wartość, jednak odporną na wartości odstające.
Brakujące dane zostały pozostawione ze względu na ich mnogość. Przy takiej liczbie wskaźników jest duża szansa, że jakaś obserwacja (gospodarka w danym państwie w danym roku) zawiera brakującą daną. Usuwanie obserwacji z brakującymi danymi zdecydowanie zmniejszyłoby wielkość danych - co za tym idzie liczbę miarodajnych informacji. Ciężko też uzupełnić brakujące dane. Wydawać by się mogło, że najlepsza w tym przypadku byłaby interpolacja pomiędzy danymi z poprzedzającego oraz następującego roku. Sposób ten jednak mógłby ukryć znaczącą, jednoroczną zmianę (czego przykładem może być nałge załamanie gospodarek w związku z pandemią oraz nagły wzrost śmiertelności). Ze względu na pozostawienie brakujących danych w dalszej analizie wykorzystywano parametry funkcji pomijających brakujące dane.
wdi <- worldDevelopmentIndicators %>%
select(-c('Country Code', 'Series Name')) %>%
rename(countryName = 'Country Name', seriesCode = 'Series Code') %>%
slice(1:(n()-5)) %>%
gather("year", "value", 3:53) %>%
mutate(year=strtoi(substr(year, 1,4))) %>%
pivot_wider(names_from=seriesCode, values_from = value)
serieCodesExplain <- worldDevelopmentIndicators %>%
slice(1:(n()-5)) %>%
rename(seriesName = 'Series Name', seriesCode = 'Series Code') %>%
select(seriesCode, seriesName) %>%
distinct()
gp <- goldPrices %>%
group_by(year=substr(Date, 1, 4), month=substr(Date, 6, 7)) %>%
summarise(
usdAm=median(USD..AM., na.rm=T),
usdPm=median(USD..PM., na.rm=T),
gbpAm=median(GBP..AM., na.rm=T),
gbpPm=median(GBP..PM., na.rm=T),
euroAm=median(EURO..AM., na.rm=T),
euroPm=median(EURO..PM., na.rm=T)
)Podsumowanie danych
World_Development_Indicators.xlsx - plik zawierający dane o 208 państwach (lub grupach, jak na przykład 6 grup zawierających w nazwie Income czy nazwa kraju - World). Dane z lat 1970-2020 zostały przedstawione w postaci 213 wskaźników, z czego część z nich jest synonimiczna.
Przykłady synonimicznych wskaźników:
- NY.TAX.NIND.CD, NY.TAX.NIND.CN -> przedstawianie wartości wskaźników finansowych w dolarach i lokalnej walucie
- SH.XPD.CHEX.PC.CD, SH.XPD.CHEX.GD.ZS -> przedstawianie wartości wskaźników finansowych w dolarach i % GDP
- SP.URB.TOTL.IN.ZS, SP.URB.TOTL -> przedstawianie wskaźników o części populacji w postaci liczby oraz procentu całości
knitr::kable(summary(wdi))| countryName | year | SP.URB.GROW | SP.URB.TOTL.IN.ZS | IC.FRM.OUTG.ZS | SP.URB.TOTL | AG.LND.TOTL.UR.K2 | SL.UEM.TOTL.NE.ZS | SL.UEM.ADVN.ZS | TX.VAL.TRAN.ZS.WT | TM.VAL.TRAN.ZS.WT | SE.SEC.TCAQ.UP.ZS | SE.SEC.TCAQ.ZS | SE.PRM.TCAQ.ZS | IP.TMK.NRES | BG.GSR.NFSV.GD.ZS | NE.TRD.GNFS.ZS | IP.TMK.RESD | IP.TMK.TOTL | NY.GDP.TOTL.RT.ZS | EN.ATM.GHGT.KT.CE | EN.ATM.GHGT.ZG | SH.ALC.PCAP.LI | IC.WRH.DURS | IC.LGL.DURS | IC.ELC.TIME | GC.TAX.GSRV.CN | GC.TAX.YPKG.RV.ZS | GC.TAX.YPKG.ZS | GC.TAX.YPKG.CN | GC.TAX.INTT.RV.ZS | GC.TAX.INTT.CN | GC.TAX.GSRV.VA.ZS | GC.TAX.GSRV.RV.ZS | GC.TAX.EXPT.CN | GC.TAX.EXPT.ZS | NY.TAX.NIND.CD | NY.TAX.NIND.CN | NY.TAX.NIND.KN | GC.TAX.TOTL.CN | GC.TAX.TOTL.GD.ZS | IC.TAX.PAYM | SP.DYN.TO65.FE.ZS | SP.DYN.TO65.MA.ZS | SH.STA.SUIC.P5 | SH.STA.SUIC.FE.P5 | SH.STA.SUIC.MA.P5 | CM.MKT.TRNR | CM.MKT.TRAD.CD | CM.MKT.TRAD.GD.ZS | IC.LGL.CRED.XQ | DT.DOD.DSTC.IR.ZS | DT.DOD.DSTC.ZS | DT.DOD.DSTC.XP.ZS | SL.UEM.NEET.FE.ZS | SL.UEM.NEET.MA.ZS | SL.UEM.NEET.ZS | NV.SRV.TOTL.ZS | BM.GSR.NFSV.CD | BX.GSR.NFSV.CD | SL.EMP.SELF.MA.ZS | SL.EMP.SELF.ZS | SL.EMP.SELF.FE.ZS | IT.NET.SECR | IT.NET.SECR.P6 | SE.SEC.TCHR | SE.SEC.ENRL | IP.JRN.ARTC.SC | SE.ENR.TERT.FM.ZS | CM.MKT.INDX.ZG | SP.RUR.TOTL.ZG | SP.RUR.TOTL.ZS | SP.RUR.TOTL | SP.POP.SCIE.RD.P6 | GB.XPD.RSDV.GD.ZS | EG.FEC.RNEW.ZS | ER.H2O.INTR.PC | ER.H2O.INTR.K3 | EG.ELC.RNEW.ZS | FR.INR.RINR | SE.SEC.ENRL.UP.TC.ZS | SE.TER.ENRL.TC.ZS | SE.SEC.ENRL.TC.ZS | SE.PRM.ENRL.TC.ZS | SE.PRE.ENRL.TC.ZS | IS.RRS.TOTL.KM | IS.RRS.GOOD.MT.K6 | IS.RRS.PASG.KM | SG.GEN.PARL.ZS | BM.GSR.FCTY.CD | BX.GSR.FCTY.CD | SE.PRM.AGES | SN.ITK.DEFC.ZS | BN.KLT.PTXL.CD | DT.NFL.BOND.CD | BX.PEF.TOTL.CD.WD | SP.POP.TOTL | SP.POP.TOTL.MA.IN | SP.POP.TOTL.MA.ZS | SP.POP.TOTL.FE.ZS | SP.POP.TOTL.FE.IN | EN.POP.SLUM.UR.ZS | EN.URB.MCTY | EN.URB.LCTY.UR.ZS | EN.URB.LCTY | SP.POP.GROW | EN.POP.DNST | SP.POP.65UP.TO.ZS | SP.POP.1564.TO.ZS | SP.POP.0014.TO.ZS | EN.ATM.PM25.MC.M3 | EN.ATM.PM25.MC.ZS | EN.ATM.PM25.MC.T1.ZS | EN.ATM.PM25.MC.T2.ZS | EN.ATM.PM25.MC.T3.ZS | SL.TLF.PART.ZS | IP.PAT.NRES | IP.PAT.RESD | SH.DTH.MORT | EN.ATM.NOXE.ZG | EN.ATM.NOXE.KT.CE | EN.ATM.NOXE.EG.ZS | NY.GSR.NFCY.CD | NY.GSR.NFCY.CN | NY.GSR.NFCY.KN | BN.GSR.FCTY.CD | DT.ODA.ODAT.CD | DT.ODA.OATL.CD | FM.AST.DOMS.CN | GC.AST.TOTL.GD.ZS | NY.GDP.NGAS.RT.ZS | SP.DYN.IMRT.IN | SH.STA.TRAF.P5 | EN.ATM.METH.ZG | EN.ATM.METH.KT.CE | EN.ATM.METH.EG.KT.CE | TX.VAL.MRCH.HI.ZS | NV.IND.MANF.ZS | SE.ADT.LITR.ZS | SP.DYN.LE00.IN | FR.INR.LEND | AG.LND.TOTL.K2 | SL.TLF.TOTL.IN | ST.INT.XPND.CD | SM.POP.TOTL.ZS | GC.XPN.INTP.ZS | FP.CPI.TOTL.ZG | IT.NET.USER.ZS | SI.DST.10TH.10 | NE.IMP.GNFS.CD | NE.IMP.GNFS.ZS | TX.VAL.ICTG.ZS.UN | NY.GNS.ICTR.ZS | NE.DAB.TOTL.ZS | NE.DAB.TOTL.CD | NY.GNS.ICTR.CD | NY.GDS.TOTL.ZS | NY.GDS.TOTL.CD | SE.XPD.TOTL.GD.ZS | BX.GSR.MRCH.CD | BM.GSR.MRCH.CD | NY.GNP.MKTP.KD.ZG | NY.GDP.PCAP.CD | NY.GDP.PCAP.KD.ZG | NY.GDP.MKTP.KD.ZG | NY.GDP.MKTP.CD | TX.VAL.FUEL.ZS.UN | TM.VAL.FUEL.ZS.UN | TX.VAL.FOOD.ZS.UN | TM.VAL.FOOD.ZS.UN | DT.DOD.DECT.GN.ZS | NE.EXP.GNFS.CD | NE.EXP.GNFS.KD.ZG | GC.XPN.TOTL.GD.ZS | SL.IND.EMPL.ZS | SL.SRV.EMPL.ZS | SL.AGR.EMPL.ZS | SL.EMP.MPYR.ZS | EG.ELC.RNWX.KH | EG.ELC.RNWX.ZS | EG.ELC.FOSL.ZS | EG.ELC.COAL.ZS | EG.ELC.HYRO.ZS | EG.ELC.NGAS.ZS | EG.ELC.NUCL.ZS | IC.BUS.DFRN.XQ | SH.STA.DIAB.ZS | FR.INR.DPST | SH.XPD.CHEX.PC.CD | SH.XPD.CHEX.GD.ZS | FP.CPI.TOTL | EN.ATM.CO2E.SF.ZS | EN.ATM.CO2E.SF.KT | EN.CO2.TRAN.ZS | EN.ATM.CO2E.EG.ZS | EN.CO2.BLDG.ZS | EN.CO2.OTHX.ZS | EN.CO2.MANF.ZS | EN.ATM.CO2E.LF.KT | EN.ATM.CO2E.LF.ZS | EN.ATM.CO2E.GF.KT | EN.ATM.CO2E.GF.ZS | EN.CO2.ETOT.ZS | EN.ATM.CO2E.PC | EN.ATM.CO2E.KT | EN.ATM.CO2E.PP.GD | EN.ATM.CO2E.PP.GD.KD | EN.ATM.CO2E.KD.GD | SP.DYN.CBRT.IN | FB.BNK.CAPA.ZS | IC.TAX.METG | AG.LND.PRCP.MM | FB.ATM.TOTL.P5 | FX.OWN.TOTL.ZS | EG.ELC.ACCS.ZS | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Length:10608 | Min. :1970 | Min. :-187.142 | Min. : 2.845 | Min. : 0.000 | Min. :1.267e+03 | Min. : 0 | Min. : 0.050 | Min. : 0.050 | Min. :-381.37 | Min. : 0.292 | Min. : 12.98 | Min. : 9.005 | Min. : 0.00 | Min. : 8 | Min. : 1.165 | Min. : 0.021 | Min. : 1 | Min. : 1 | Min. : 0.000 | Min. : 1 | Min. : -83.525 | Min. : 0.003 | Min. : 27.0 | Min. : 120.0 | Min. : 7.00 | Min. :0.000e+00 | Min. :-1.351 | Min. : -4.469 | Min. :-3.514e+11 | Min. :-15.842 | Min. :-2.969e+11 | Min. : 0.034 | Min. : 0.00 | Min. :-4.049e+11 | Min. :-25.224 | Min. :-1.444e+10 | Min. :-1.255e+14 | Min. :-9.832e+13 | Min. :0.000e+00 | Min. : 0.043 | Min. : 3.00 | Min. : 6.464 | Min. : 1.477 | Min. : 0.00 | Min. : 0.000 | Min. : 0.00 | Min. : 0.002 | Min. :2.000e+04 | Min. : 0.000 | Min. : 0.000 | Min. : 0.0 | Min. : 0.000 | Min. : 0.000 | Min. : 0.10 | Min. : 0.13 | Min. : 0.06 | Min. :10.86 | Min. :9.128e+05 | Min. :0.000e+00 | Min. : 0.39 | Min. : 0.41 | Min. : 0.07 | Min. : 0 | Min. : 0.0 | Min. : 0 | Min. : 0 | Min. : 0.0 | Min. :0.000 | Min. :-84.230 | Min. :-235.7924 | Min. : 0.00 | Min. :0.000e+00 | Min. : 5.912 | Min. :0.005 | Min. : 0.000 | Min. : 0 | Min. : 0.0 | Min. : 0.000 | Min. :-97.693 | Min. : 3.71 | Min. : 0.791 | Min. : 4.979 | Min. : 5.226 | Min. : 3.23 | Min. : 100 | Min. : 0.7 | Min. : 0 | Min. : 0.000 | Min. :-2.187e+08 | Min. :-5.061e+07 | Min. :4.000 | Min. : 2.50 | Min. :-8.080e+11 | Min. :-2.310e+10 | Min. :-2.441e+11 | Min. :5.740e+03 | Min. :2.528e+04 | Min. :44.37 | Min. :23.29 | Min. :2.586e+04 | Min. : 0.001 | Min. : 34329 | Min. : 2.867 | Min. : 18587 | Min. :-10.9551 | Min. : 0.136 | Min. : 0.6856 | Min. :45.45 | Min. :11.05 | Min. : 5.861 | Min. : 0.00 | Min. : 0.000 | Min. : 0.00 | Min. : 0.00 | Min. : 0.14 | Min. : 1 | Min. : 1.0 | Min. : 0 | Min. :-100.000 | Min. : 0.0 | Min. : 0.000 | Min. :-9.905e+10 | Min. :-4.813e+14 | Min. :-2.540e+12 | Min. :-1.052e+11 | Min. :-9.899e+08 | Min. :-461600006 | Min. :-5.424e+13 | Min. :-24.587 | Min. : 0.0000 | Min. : 1.50 | Min. : 0.00 | Min. :-100.000 | Min. : 0 | Min. : 0 | Min. : 0.0074 | Min. : 0.000 | Min. : 9.434 | Min. :18.91 | Min. : 0.00 | Min. : 2 | Min. :3.120e+04 | Min. :1.000e+05 | Min. : 0.033 | Min. : 0.000 | Min. : -18.109 | Min. : 0.00 | Min. :18.30 | Min. :0.000e+00 | Min. : 0.00 | Min. : 0.000 | Min. :-236.27 | Min. : 21.21 | Min. :1.805e+07 | Min. :-2.601e+10 | Min. :-141.97 | Min. :-7.622e+09 | Min. : 0.000 | Min. :1.991e+05 | Min. :5.153e+06 | Min. :-50.143 | Min. : 22.8 | Min. :-64.9924 | Min. :-64.047 | Min. :8.824e+06 | Min. : 0.000 | Min. : 0.009 | Min. : 0.000 | Min. : 0.474 | Min. : 0.00 | Min. :6.933e+05 | Min. : -96.4 | Min. : 2.806 | Min. : 0.28 | Min. : 5.34 | Min. : 0.030 | Min. : 0.000 | Min. :0.000e+00 | Min. : 0.000 | Min. : 0.00 | Min. : 0.00 | Min. : 0.00 | Min. : 0.000 | Min. : 0.000 | Min. :20.93 | Min. : 1.000 | Min. : -0.38 | Min. : 4.335 | Min. : 1.264 | Min. : 0.00 | Min. : -4.324 | Min. : -114 | Min. : 0.00 | Min. : 0.054 | Min. : 0.000 | Min. :-2.326 | Min. : 0.00 | Min. : -161 | Min. : -6.089 | Min. : -147 | Min. : -0.7295 | Min. : 0.00 | Min. : 0.000 | Min. : 0 | Min. :0.000 | Min. :0.000 | Min. :0.0000 | Min. : 5.90 | Min. : 0.000 | Min. : 1.000 | Min. : 18.1 | Min. : 0.000 | Min. : 1.522 | Min. : 0.534 | |
| Class :character | 1st Qu.:1982 | 1st Qu.: 1.034 | 1st Qu.: 33.374 | 1st Qu.: 1.100 | 1st Qu.:3.439e+05 | 1st Qu.: 566 | 1st Qu.: 4.000 | 1st Qu.: 3.065 | 1st Qu.: 12.79 | 1st Qu.:28.007 | 1st Qu.: 67.14 | 1st Qu.: 66.770 | 1st Qu.: 73.95 | 1st Qu.: 1405 | 1st Qu.: 9.165 | 1st Qu.: 45.548 | 1st Qu.: 376 | 1st Qu.: 2088 | 1st Qu.: 0.231 | 1st Qu.: 7530 | 1st Qu.: -8.021 | 1st Qu.: 2.322 | 1st Qu.:121.0 | 1st Qu.: 455.0 | 1st Qu.: 60.00 | 1st Qu.:1.841e+09 | 1st Qu.:14.348 | 1st Qu.: 23.620 | 1st Qu.: 9.422e+08 | 1st Qu.: 0.894 | 1st Qu.: 4.573e+07 | 1st Qu.: 6.314 | 1st Qu.:22.95 | 1st Qu.: 0.000e+00 | 1st Qu.: 0.000 | 1st Qu.: 1.769e+08 | 1st Qu.: 4.764e+08 | 1st Qu.: 2.163e+09 | 1st Qu.:3.618e+09 | 1st Qu.:12.009 | 1st Qu.: 11.00 | 1st Qu.:60.525 | 1st Qu.:51.795 | 1st Qu.: 5.00 | 1st Qu.: 2.300 | 1st Qu.: 7.10 | 1st Qu.: 8.016 | 1st Qu.:6.220e+08 | 1st Qu.: 1.573 | 1st Qu.: 2.000 | 1st Qu.: 14.5 | 1st Qu.: 3.340 | 1st Qu.: 6.426 | 1st Qu.:11.49 | 1st Qu.: 8.49 | 1st Qu.:10.46 | 1st Qu.:42.10 | 1st Qu.:3.151e+08 | 1st Qu.:2.022e+08 | 1st Qu.:19.73 | 1st Qu.:16.81 | 1st Qu.:12.89 | 1st Qu.: 45 | 1st Qu.: 10.4 | 1st Qu.: 3959 | 1st Qu.: 73632 | 1st Qu.: 28.1 | 1st Qu.:0.577 | 1st Qu.:-12.683 | 1st Qu.: -0.4648 | 1st Qu.:26.13 | 1st Qu.:2.759e+05 | 1st Qu.: 414.782 | 1st Qu.:0.243 | 1st Qu.: 3.852 | 1st Qu.: 1332 | 1st Qu.: 7.1 | 1st Qu.: 0.208 | 1st Qu.: 1.931 | 1st Qu.: 10.69 | 1st Qu.: 9.800 | 1st Qu.:12.630 | 1st Qu.: 18.193 | 1st Qu.: 14.71 | 1st Qu.: 1209 | 1st Qu.: 1057.7 | 1st Qu.: 395 | 1st Qu.: 9.167 | 1st Qu.: 1.002e+08 | 1st Qu.: 2.704e+07 | 1st Qu.:6.000 | 1st Qu.: 2.50 | 1st Qu.:-1.077e+08 | 1st Qu.:-4.120e+06 | 1st Qu.: 0.000e+00 | 1st Qu.:7.799e+05 | 1st Qu.:9.620e+05 | 1st Qu.:48.96 | 1st Qu.:49.62 | 1st Qu.:9.367e+05 | 1st Qu.:25.100 | 1st Qu.: 1078178 | 1st Qu.: 20.529 | 1st Qu.: 610060 | 1st Qu.: 0.6081 | 1st Qu.: 23.438 | 1st Qu.: 3.2323 | 1st Qu.:53.43 | 1st Qu.:23.37 | 1st Qu.: 15.689 | 1st Qu.: 99.91 | 1st Qu.: 0.000 | 1st Qu.: 0.00 | 1st Qu.: 52.73 | 1st Qu.:19.12 | 1st Qu.: 56 | 1st Qu.: 34.0 | 1st Qu.: 676 | 1st Qu.: -15.306 | 1st Qu.: 550.6 | 1st Qu.: 2.669 | 1st Qu.:-1.014e+09 | 1st Qu.:-1.152e+10 | 1st Qu.:-1.247e+10 | 1st Qu.:-1.296e+09 | 1st Qu.: 3.095e+07 | 1st Qu.: 6975000 | 1st Qu.: 2.546e+09 | 1st Qu.: 0.000 | 1st Qu.: 0.0000 | 1st Qu.: 12.70 | 1st Qu.:10.97 | 1st Qu.: -5.353 | 1st Qu.: 1817 | 1st Qu.: 160 | 1st Qu.: 56.7006 | 1st Qu.: 7.914 | 1st Qu.: 67.881 | 1st Qu.:59.23 | 1st Qu.: 8.35 | 1st Qu.: 17200 | 1st Qu.:1.115e+06 | 1st Qu.:1.380e+08 | 1st Qu.: 1.345 | 1st Qu.: 3.616 | 1st Qu.: 2.338 | 1st Qu.: 0.14 | 1st Qu.:24.60 | 1st Qu.:1.306e+09 | 1st Qu.: 24.52 | 1st Qu.: 0.132 | 1st Qu.: 14.92 | 1st Qu.: 97.72 | 1st Qu.:4.301e+09 | 1st Qu.: 6.971e+08 | 1st Qu.: 11.01 | 1st Qu.: 3.771e+08 | 1st Qu.: 3.073 | 1st Qu.:5.762e+08 | 1st Qu.:9.803e+08 | 1st Qu.: 1.312 | 1st Qu.: 734.0 | 1st Qu.: -0.3525 | 1st Qu.: 1.234 | 1st Qu.:2.366e+09 | 1st Qu.: 0.534 | 1st Qu.: 7.229 | 1st Qu.: 6.514 | 1st Qu.: 8.363 | 1st Qu.: 25.77 | 1st Qu.:9.514e+08 | 1st Qu.: -0.3 | 1st Qu.: 17.463 | 1st Qu.:14.23 | 1st Qu.:36.51 | 1st Qu.: 7.025 | 1st Qu.: 1.240 | 1st Qu.:0.000e+00 | 1st Qu.: 0.000 | 1st Qu.: 30.94 | 1st Qu.: 0.00 | 1st Qu.: 2.34 | 1st Qu.: 0.000 | 1st Qu.: 0.000 | 1st Qu.:52.79 | 1st Qu.: 5.000 | 1st Qu.: 3.39 | 1st Qu.: 59.485 | 1st Qu.: 4.273 | 1st Qu.: 26.11 | 1st Qu.: 0.000 | 1st Qu.: 0 | 1st Qu.:16.84 | 1st Qu.: 1.590 | 1st Qu.: 4.720 | 1st Qu.: 0.385 | 1st Qu.:12.49 | 1st Qu.: 802 | 1st Qu.: 43.603 | 1st Qu.: 0 | 1st Qu.: 0.0000 | 1st Qu.:22.43 | 1st Qu.: 0.506 | 1st Qu.: 1300 | 1st Qu.:0.160 | 1st Qu.:0.130 | 1st Qu.:0.2443 | 1st Qu.:15.02 | 1st Qu.: 7.324 | 1st Qu.: 1.875 | 1st Qu.: 591.0 | 1st Qu.: 8.509 | 1st Qu.: 28.570 | 1st Qu.: 72.093 | |
| Mode :character | Median :1995 | Median : 2.358 | Median : 53.175 | Median : 2.500 | Median :2.373e+06 | Median : 3395 | Median : 6.600 | Median : 4.550 | Median : 23.33 | Median :40.716 | Median : 87.91 | Median : 86.993 | Median : 90.64 | Median : 3672 | Median : 14.986 | Median : 67.681 | Median : 2410 | Median : 6302 | Median : 2.010 | Median : 33645 | Median : 10.450 | Median : 5.657 | Median :165.0 | Median : 570.0 | Median : 85.00 | Median :2.003e+10 | Median :21.037 | Median : 34.511 | Median : 1.390e+10 | Median : 4.430 | Median : 9.817e+08 | Median :10.142 | Median :31.23 | Median : 0.000e+00 | Median : 0.000 | Median : 9.781e+08 | Median : 7.882e+09 | Median : 2.837e+10 | Median :4.233e+10 | Median :16.194 | Median : 28.00 | Median :77.021 | Median :64.457 | Median : 8.30 | Median : 4.100 | Median : 11.99 | Median : 27.855 | Median :1.299e+10 | Median : 8.152 | Median : 5.325 | Median : 39.3 | Median : 9.298 | Median : 17.075 | Median :18.51 | Median :12.09 | Median :16.39 | Median :51.39 | Median :1.329e+09 | Median :1.231e+09 | Median :38.06 | Median :38.27 | Median :39.60 | Median : 386 | Median : 126.9 | Median : 30652 | Median : 437764 | Median : 255.7 | Median :0.957 | Median : 6.099 | Median : 0.6618 | Median :46.83 | Median :2.267e+06 | Median :1391.188 | Median :0.583 | Median :18.890 | Median : 3733 | Median : 44.7 | Median : 15.376 | Median : 5.722 | Median : 14.36 | Median : 13.467 | Median :16.884 | Median : 25.637 | Median : 19.87 | Median : 3122 | Median : 4221.0 | Median : 2165 | Median :16.000 | Median : 6.455e+08 | Median : 2.269e+08 | Median :6.000 | Median : 6.30 | Median : 0.000e+00 | Median : 2.300e+05 | Median : 0.000e+00 | Median :5.256e+06 | Median :3.232e+06 | Median :49.66 | Median :50.34 | Median :3.264e+06 | Median :43.300 | Median : 1999004 | Median : 30.936 | Median : 1287166 | Median : 1.5452 | Median : 68.891 | Median : 4.7279 | Median :60.62 | Median :34.23 | Median : 24.270 | Median :100.00 | Median : 0.052 | Median : 33.52 | Median : 99.95 | Median :26.90 | Median : 341 | Median : 262.5 | Median : 5770 | Median : 2.715 | Median : 3550.0 | Median : 5.738 | Median :-1.190e+08 | Median :-4.527e+08 | Median :-9.250e+08 | Median :-1.701e+08 | Median : 1.366e+08 | Median : 160050003 | Median : 4.899e+10 | Median : 0.456 | Median : 0.0000 | Median : 31.40 | Median :16.96 | Median : 8.025 | Median : 7927 | Median : 990 | Median : 73.0276 | Median :12.805 | Median : 84.920 | Median :68.90 | Median : 12.17 | Median : 107160 | Median :3.548e+06 | Median :5.550e+08 | Median : 3.997 | Median : 7.147 | Median : 5.298 | Median : 6.80 | Median :28.10 | Median :6.530e+09 | Median : 35.29 | Median : 0.843 | Median : 20.95 | Median :102.99 | Median :2.115e+10 | Median : 4.393e+09 | Median : 20.72 | Median : 3.666e+09 | Median : 4.226 | Median :3.805e+09 | Median :5.210e+09 | Median : 3.615 | Median : 2515.6 | Median : 2.0261 | Median : 3.642 | Median :1.244e+10 | Median : 3.480 | Median :12.115 | Median : 15.743 | Median :12.544 | Median : 41.33 | Median :5.442e+09 | Median : 4.8 | Median : 25.786 | Median :20.39 | Median :51.50 | Median :24.390 | Median : 2.840 | Median :5.000e+06 | Median : 0.037 | Median : 64.68 | Median : 0.50 | Median : 18.74 | Median : 3.241 | Median : 0.000 | Median :61.40 | Median : 6.700 | Median : 6.22 | Median : 237.800 | Median : 5.852 | Median : 67.41 | Median : 2.236 | Median : 92 | Median :25.87 | Median : 2.312 | Median : 9.399 | Median : 2.503 | Median :18.61 | Median : 4173 | Median : 70.345 | Median : 7 | Median : 0.6308 | Median :34.44 | Median : 2.096 | Median : 9296 | Median :0.263 | Median :0.205 | Median :0.3818 | Median :24.04 | Median : 9.956 | Median : 2.408 | Median :1071.0 | Median : 34.312 | Median : 50.552 | Median : 99.573 | |
| NA | Mean :1995 | Mean : 2.646 | Mean : 53.805 | Mean : 4.301 | Mean :5.576e+07 | Mean : 82862 | Mean : 8.053 | Mean : 6.300 | Mean : 26.75 | Mean :41.452 | Mean : 79.89 | Mean : 80.233 | Mean : 84.30 | Mean : 20646 | Mean : 22.455 | Mean : 79.841 | Mean : 57930 | Mean : 78935 | Mean : 6.486 | Mean : 763288 | Mean : 42.889 | Mean : 6.142 | Mean :179.5 | Mean : 634.2 | Mean : 99.36 | Mean :2.775e+12 | Mean :23.308 | Mean : 35.585 | Mean : 3.076e+12 | Mean : 8.668 | Mean : 4.031e+11 | Mean :10.294 | Mean :30.39 | Mean : 5.077e+10 | Mean : 1.074 | Mean : 1.486e+10 | Mean : 2.774e+12 | Mean : 2.973e+12 | Mean :6.441e+12 | Mean :16.934 | Mean : 28.28 | Mean :71.801 | Mean :62.257 | Mean :10.60 | Mean : 5.135 | Mean : 16.23 | Mean : 47.435 | Mean :1.736e+12 | Mean : 30.231 | Mean : 5.194 | Mean : 817.9 | Mean :11.916 | Mean : 32.979 | Mean :21.19 | Mean :13.48 | Mean :17.19 | Mean :51.13 | Mean :4.890e+10 | Mean :4.979e+10 | Mean :42.57 | Mean :43.35 | Mean :44.35 | Mean : 219514 | Mean : 5117.9 | Mean : 993896 | Mean : 12767600 | Mean : 34391.5 | Mean :0.892 | Mean : 9.323 | Mean : 0.4594 | Mean :46.20 | Mean :6.957e+07 | Mean :2003.649 | Mean :0.943 | Mean :30.297 | Mean : 36639 | Mean : 1074.5 | Mean : 29.913 | Mean : 5.830 | Mean : 15.79 | Mean : 15.085 | Mean :18.153 | Mean : 28.088 | Mean : 20.99 | Mean : 10318 | Mean : 101684.8 | Mean : 33078 | Mean :17.561 | Mean : 3.749e+10 | Mean : 3.419e+10 | Mean :6.154 | Mean :10.82 | Mean :-1.817e+09 | Mean : 5.015e+09 | Mean : 7.930e+09 | Mean :1.248e+08 | Mean :6.887e+07 | Mean :49.92 | Mean :50.08 | Mean :6.770e+07 | Mean :44.297 | Mean : 9328817 | Mean : 33.807 | Mean : 2947763 | Mean : 1.6662 | Mean : 354.603 | Mean : 6.8313 | Mean :60.08 | Mean :33.09 | Mean : 29.071 | Mean : 92.88 | Mean : 26.004 | Mean : 46.30 | Mean : 74.56 | Mean :27.93 | Mean : 16462 | Mean : 36025.8 | Mean : 173075 | Mean : 17.096 | Mean : 58094.5 | Mean : 8.864 | Mean :-4.071e+08 | Mean :-9.054e+11 | Mean :-2.844e+10 | Mean :-4.647e+08 | Mean : 1.972e+09 | Mean : 791932175 | Mean : 4.199e+13 | Mean : 1.659 | Mean : 0.2636 | Mean : 44.95 | Mean :17.93 | Mean : 23.128 | Mean : 156238 | Mean : 51560 | Mean : 68.0533 | Mean :13.316 | Mean : 79.175 | Mean :66.13 | Mean : 42.45 | Mean : 2719581 | Mean :7.299e+07 | Mean :1.613e+10 | Mean :10.807 | Mean : 8.847 | Mean : 26.320 | Mean : 22.95 | Mean :30.03 | Mean :2.082e+11 | Mean : 42.62 | Mean : 4.829 | Mean : 21.11 | Mean :104.58 | Mean :8.510e+11 | Mean : 7.262e+10 | Mean : 19.19 | Mean : 2.239e+11 | Mean : 4.328 | Mean :1.848e+11 | Mean :1.813e+11 | Mean : 3.461 | Mean : 9811.8 | Mean : 1.7913 | Mean : 3.474 | Mean :7.288e+11 | Mean : 16.105 | Mean :13.625 | Mean : 26.770 | Mean :14.034 | Mean : 58.20 | Mean :2.126e+11 | Mean : 142.3 | Mean : 26.742 | Mean :20.06 | Mean :50.51 | Mean :29.433 | Mean : 3.195 | Mean :7.828e+09 | Mean : 2.236 | Mean : 58.97 | Mean :16.94 | Mean : 32.02 | Mean : 17.579 | Mean : 4.927 | Mean :61.72 | Mean : 7.652 | Mean : 48.49 | Mean : 899.534 | Mean : 6.287 | Mean : 75.44 | Mean : 15.448 | Mean : 219993 | Mean :29.23 | Mean : 2.329 | Mean :10.795 | Mean : 4.863 | Mean :20.21 | Mean : 182783 | Mean : 67.147 | Mean : 91224 | Mean : 11.6703 | Mean :34.88 | Mean : 4.763 | Mean : 530304 | Mean :0.337 | Mean :0.260 | Mean :0.5440 | Mean :26.40 | Mean :10.215 | Mean : 2.793 | Mean :1195.8 | Mean : 44.565 | Mean : 54.513 | Mean : 81.600 | |
| NA | 3rd Qu.:2008 | 3rd Qu.: 3.949 | 3rd Qu.: 73.870 | 3rd Qu.: 5.600 | 3rd Qu.:9.277e+06 | 3rd Qu.: 15565 | 3rd Qu.:10.350 | 3rd Qu.: 7.225 | 3rd Qu.: 36.79 | 3rd Qu.:54.030 | 3rd Qu.:100.00 | 3rd Qu.: 98.727 | 3rd Qu.: 99.57 | 3rd Qu.: 8590 | 3rd Qu.: 25.867 | 3rd Qu.: 99.047 | 3rd Qu.: 13140 | 3rd Qu.: 21415 | 3rd Qu.: 8.120 | 3rd Qu.: 121271 | 3rd Qu.: 47.804 | 3rd Qu.: 9.488 | 3rd Qu.:218.0 | 3rd Qu.: 721.0 | 3rd Qu.:117.00 | 3rd Qu.:1.388e+11 | 3rd Qu.:30.749 | 3rd Qu.: 45.979 | 3rd Qu.: 1.196e+11 | 3rd Qu.: 12.440 | 3rd Qu.: 1.422e+10 | 3rd Qu.:13.692 | 3rd Qu.:38.27 | 3rd Qu.: 9.500e+06 | 3rd Qu.: 0.060 | 3rd Qu.: 6.071e+09 | 3rd Qu.: 1.007e+11 | 3rd Qu.: 2.456e+11 | 3rd Qu.:3.092e+11 | 3rd Qu.:21.617 | 3rd Qu.: 40.00 | 3rd Qu.:84.559 | 3rd Qu.:73.931 | 3rd Qu.:13.03 | 3rd Qu.: 6.870 | 3rd Qu.: 19.90 | 3rd Qu.: 62.069 | 3rd Qu.:1.955e+11 | 3rd Qu.: 34.711 | 3rd Qu.: 7.000 | 3rd Qu.: 97.0 | 3rd Qu.:16.552 | 3rd Qu.: 31.188 | 3rd Qu.:29.26 | 3rd Qu.:16.20 | 3rd Qu.:21.98 | 3rd Qu.:59.64 | 3rd Qu.:8.885e+09 | 3rd Qu.:8.472e+09 | 3rd Qu.:63.22 | 3rd Qu.:66.77 | 3rd Qu.:76.19 | 3rd Qu.: 5751 | 3rd Qu.: 1294.5 | 3rd Qu.: 121518 | 3rd Qu.: 1888648 | 3rd Qu.: 4495.1 | 3rd Qu.:1.209 | 3rd Qu.: 26.520 | 3rd Qu.: 1.8421 | 3rd Qu.:66.63 | 3rd Qu.:9.431e+06 | 3rd Qu.:3232.493 | 3rd Qu.:1.328 | 3rd Qu.:51.876 | 3rd Qu.: 17636 | 3rd Qu.: 200.0 | 3rd Qu.: 55.624 | 3rd Qu.: 10.109 | 3rd Qu.: 18.72 | 3rd Qu.: 18.538 | 3rd Qu.:21.814 | 3rd Qu.: 35.323 | 3rd Qu.: 25.82 | 3rd Qu.: 7950 | 3rd Qu.: 16629.8 | 3rd Qu.: 11902 | 3rd Qu.:24.000 | 3rd Qu.: 5.462e+09 | 3rd Qu.: 2.442e+09 | 3rd Qu.:7.000 | 3rd Qu.:14.88 | 3rd Qu.: 2.950e+07 | 3rd Qu.: 1.094e+09 | 3rd Qu.: 9.700e+07 | 3rd Qu.:1.945e+07 | 3rd Qu.:1.155e+07 | 3rd Qu.:50.38 | 3rd Qu.:51.04 | 3rd Qu.:1.161e+07 | 3rd Qu.:64.300 | 3rd Qu.: 6761455 | 3rd Qu.: 43.035 | 3rd Qu.: 2996023 | 3rd Qu.: 2.5797 | 3rd Qu.: 160.677 | 3rd Qu.: 9.9052 | 3rd Qu.:66.11 | 3rd Qu.:43.20 | 3rd Qu.: 38.357 | 3rd Qu.:100.00 | 3rd Qu.: 48.113 | 3rd Qu.: 99.95 | 3rd Qu.:100.00 | 3rd Qu.:36.20 | 3rd Qu.: 3396 | 3rd Qu.: 2054.2 | 3rd Qu.: 42036 | 3rd Qu.: 22.810 | 3rd Qu.: 12887.5 | 3rd Qu.: 9.933 | 3rd Qu.: 0.000e+00 | 3rd Qu.: 0.000e+00 | 3rd Qu.: 6.740e+09 | 3rd Qu.:-3.929e+06 | 3rd Qu.: 4.751e+08 | 3rd Qu.: 789217499 | 3rd Qu.: 6.330e+11 | 3rd Qu.: 2.075 | 3rd Qu.: 0.0909 | 3rd Qu.: 66.80 | 3rd Qu.:24.80 | 3rd Qu.: 28.306 | 3rd Qu.: 31468 | 3rd Qu.: 6418 | 3rd Qu.: 84.2422 | 3rd Qu.:17.665 | 3rd Qu.: 94.699 | 3rd Qu.:73.94 | 3rd Qu.: 18.00 | 3rd Qu.: 547566 | 3rd Qu.:1.219e+07 | 3rd Qu.:3.716e+09 | 3rd Qu.:12.235 | 3rd Qu.:11.615 | 3rd Qu.: 10.846 | 3rd Qu.: 41.06 | 3rd Qu.:34.30 | 3rd Qu.:3.953e+10 | 3rd Qu.: 53.92 | 3rd Qu.: 4.765 | 3rd Qu.: 27.07 | 3rd Qu.:110.27 | 3rd Qu.:1.363e+11 | 3rd Qu.: 3.228e+10 | 3rd Qu.: 27.93 | 3rd Qu.: 3.573e+10 | 3rd Qu.: 5.354 | 3rd Qu.:3.157e+10 | 3rd Qu.:3.103e+10 | 3rd Qu.: 5.962 | 3rd Qu.: 10076.1 | 3rd Qu.: 4.3111 | 3rd Qu.: 5.997 | 3rd Qu.:9.368e+10 | 3rd Qu.: 15.647 | 3rd Qu.:18.369 | 3rd Qu.: 41.402 | 3rd Qu.:17.890 | 3rd Qu.: 69.84 | 3rd Qu.:3.990e+10 | 3rd Qu.: 10.5 | 3rd Qu.: 34.233 | 3rd Qu.:25.63 | 3rd Qu.:65.82 | 3rd Qu.:46.410 | 3rd Qu.: 4.560 | 3rd Qu.:5.790e+08 | 3rd Qu.: 1.473 | 3rd Qu.: 91.11 | 3rd Qu.:28.59 | 3rd Qu.: 58.72 | 3rd Qu.: 23.129 | 3rd Qu.: 0.000 | 3rd Qu.:72.79 | 3rd Qu.: 9.400 | 3rd Qu.: 10.30 | 3rd Qu.: 860.468 | 3rd Qu.: 7.981 | 3rd Qu.: 100.00 | 3rd Qu.: 25.118 | 3rd Qu.: 8870 | 3rd Qu.:37.20 | 3rd Qu.: 2.835 | 3rd Qu.:15.000 | 3rd Qu.: 5.276 | 3rd Qu.:25.96 | 3rd Qu.: 31005 | 3rd Qu.: 94.294 | 3rd Qu.: 9446 | 3rd Qu.: 17.0232 | 3rd Qu.:47.14 | 3rd Qu.: 6.263 | 3rd Qu.: 66838 | 3rd Qu.:0.398 | 3rd Qu.:0.319 | 3rd Qu.:0.6505 | 3rd Qu.:37.24 | 3rd Qu.:12.357 | 3rd Qu.: 3.225 | 3rd Qu.:1761.0 | 3rd Qu.: 61.128 | 3rd Qu.: 82.201 | 3rd Qu.:100.000 | |
| NA | Max. :2020 | Max. : 48.936 | Max. :100.000 | Max. :33.800 | Max. :4.352e+09 | Max. :3629312 | Max. :57.000 | Max. :46.030 | Max. : 100.00 | Max. :98.467 | Max. :100.00 | Max. :100.000 | Max. :100.00 | Max. :1026624 | Max. :304.276 | Max. :860.800 | Max. :3958768 | Max. :4960737 | Max. :87.507 | Max. :45873850 | Max. :2519.020 | Max. :20.500 | Max. :714.0 | Max. :1785.0 | Max. :602.00 | Max. :7.045e+14 | Max. :78.013 | Max. :130.540 | Max. : 7.723e+14 | Max. : 64.660 | Max. : 6.255e+13 | Max. :40.005 | Max. :91.29 | Max. : 2.886e+13 | Max. : 51.677 | Max. : 7.741e+11 | Max. : 6.511e+14 | Max. : 4.503e+14 | Max. :1.544e+15 | Max. :62.503 | Max. :147.00 | Max. :96.093 | Max. :92.978 | Max. :92.60 | Max. :39.500 | Max. :147.80 | Max. :1721.544 | Max. :1.012e+14 | Max. :952.667 | Max. :12.000 | Max. :527646.8 | Max. :88.983 | Max. :4343.890 | Max. :79.11 | Max. :86.79 | Max. :68.56 | Max. :96.20 | Max. :5.885e+12 | Max. :6.246e+12 | Max. :98.93 | Max. :98.96 | Max. :99.38 | Max. :89189073 | Max. :741078.8 | Max. :36500000 | Max. :601000000 | Max. :2554373.4 | Max. :1.872 | Max. :912.281 | Max. : 29.6283 | Max. :97.16 | Max. :3.399e+09 | Max. :8065.887 | Max. :4.953 | Max. :98.343 | Max. :10662187 | Max. :43392.2 | Max. :100.000 | Max. :628.320 | Max. :322.15 | Max. :147.560 | Max. :80.052 | Max. :100.236 | Max. :113.97 | Max. :203875 | Max. :2946579.0 | Max. :1345690 | Max. :63.750 | Max. : 4.859e+12 | Max. : 4.790e+12 | Max. :8.000 | Max. :67.50 | Max. : 2.827e+11 | Max. : 2.814e+11 | Max. : 1.258e+12 | Max. :7.753e+09 | Max. :3.907e+09 | Max. :76.71 | Max. :55.63 | Max. :3.843e+09 | Max. :98.900 | Max. :409712858 | Max. :100.000 | Max. :37468302 | Max. : 17.6334 | Max. :21388.600 | Max. :28.3973 | Max. :86.40 | Max. :51.57 | Max. :100.784 | Max. :100.00 | Max. :100.000 | Max. :100.00 | Max. :100.00 | Max. :96.31 | Max. :885152 | Max. :2294881.0 | Max. :12493789 | Max. :2509.806 | Max. :2986520.0 | Max. :192.227 | Max. : 2.923e+11 | Max. : 1.051e+14 | Max. : 2.849e+11 | Max. : 2.578e+11 | Max. : 1.678e+11 | Max. :8320969727 | Max. : 1.021e+16 | Max. : 55.409 | Max. :22.4135 | Max. :219.30 | Max. :64.60 | Max. :2414.776 | Max. :8174420 | Max. :3187680 | Max. :100.0000 | Max. :50.037 | Max. : 99.998 | Max. :85.42 | Max. :99764.53 | Max. :129956634 | Max. :3.468e+09 | Max. :1.550e+12 | Max. :88.404 | Max. :63.985 | Max. :23773.132 | Max. :100.00 | Max. :61.50 | Max. :2.472e+13 | Max. :427.58 | Max. :63.636 | Max. : 100.67 | Max. :261.43 | Max. :8.715e+13 | Max. : 6.257e+12 | Max. : 88.39 | Max. : 2.348e+13 | Max. :44.334 | Max. :1.926e+13 | Max. :1.901e+13 | Max. : 44.264 | Max. :190512.7 | Max. :140.3670 | Max. :149.973 | Max. :8.761e+13 | Max. :359.256 | Max. :94.057 | Max. :354.553 | Max. :62.416 | Max. :1233.10 | Max. :2.525e+13 | Max. :844788.2 | Max. :210.205 | Max. :59.58 | Max. :89.94 | Max. :92.370 | Max. :17.880 | Max. :1.645e+12 | Max. :65.444 | Max. :100.00 | Max. :99.80 | Max. :100.00 | Max. :100.000 | Max. :87.986 | Max. :87.17 | Max. :30.500 | Max. :130591.97 | Max. :10623.850 | Max. :24.244 | Max. :20422.89 | Max. :216.648 | Max. :15291329 | Max. :96.97 | Max. :103.158 | Max. :48.431 | Max. :86.957 | Max. :81.25 | Max. :10482498 | Max. :258.524 | Max. :7056781 | Max. :207.3675 | Max. :90.38 | Max. :360.853 | Max. :34041046 | Max. :2.524 | Max. :1.969 | Max. :5.3510 | Max. :56.95 | Max. :30.708 | Max. :18.800 | Max. :3240.0 | Max. :324.172 | Max. :100.000 | Max. :100.000 | |
| NA | NA | NA’s :85 | NA’s :60 | NA’s :10314 | NA’s :83 | NA’s :10086 | NA’s :6194 | NA’s :8849 | NA’s :4094 | NA’s :3931 | NA’s :10044 | NA’s :9818 | NA’s :9294 | NA’s :6326 | NA’s :4044 | NA’s :2957 | NA’s :6357 | NA’s :6083 | NA’s :2009 | NA’s :1556 | NA’s :6762 | NA’s :9714 | NA’s :8028 | NA’s :7713 | NA’s :8657 | NA’s :6800 | NA’s :6683 | NA’s :6774 | NA’s :6768 | NA’s :6683 | NA’s :6764 | NA’s :7433 | NA’s :6723 | NA’s :6875 | NA’s :6888 | NA’s :4116 | NA’s :4072 | NA’s :4856 | NA’s :6737 | NA’s :6676 | NA’s :7990 | NA’s :1108 | NA’s :1108 | NA’s :7028 | NA’s :7028 | NA’s :7028 | NA’s :8201 | NA’s :7849 | NA’s :7882 | NA’s :9318 | NA’s :6339 | NA’s :5508 | NA’s :6640 | NA’s :9184 | NA’s :9185 | NA’s :9165 | NA’s :3821 | NA’s :3841 | NA’s :3833 | NA’s :5301 | NA’s :5301 | NA’s :5301 | NA’s :8444 | NA’s :8370 | NA’s :5894 | NA’s :3890 | NA’s :6998 | NA’s :5777 | NA’s :8646 | NA’s :462 | NA’s :60 | NA’s :83 | NA’s :9062 | NA’s :8675 | NA’s :4776 | NA’s :8944 | NA’s :8939 | NA’s :5196 | NA’s :6703 | NA’s :8720 | NA’s :6956 | NA’s :6160 | NA’s :4628 | NA’s :6197 | NA’s :8662 | NA’s :8552 | NA’s :8653 | NA’s :6404 | NA’s :3905 | NA’s :3912 | NA’s :833 | NA’s :7606 | NA’s :4436 | NA’s :8820 | NA’s :4579 | NA’s :32 | NA’s :950 | NA’s :927 | NA’s :927 | NA’s :950 | NA’s :9983 | NA’s :4590 | NA’s :2726 | NA’s :3060 | NA’s :35 | NA’s :139 | NA’s :927 | NA’s :927 | NA’s :927 | NA’s :8340 | NA’s :8340 | NA’s :8424 | NA’s :8424 | NA’s :8424 | NA’s :8905 | NA’s :6601 | NA’s :6868 | NA’s :2094 | NA’s :6274 | NA’s :1354 | NA’s :3270 | NA’s :2991 | NA’s :2952 | NA’s :9742 | NA’s :4105 | NA’s :3739 | NA’s :10190 | NA’s :3622 | NA’s :8357 | NA’s :2653 | NA’s :1818 | NA’s :7020 | NA’s :6296 | NA’s :1374 | NA’s :1112 | NA’s :2228 | NA’s :3956 | NA’s :9464 | NA’s :1022 | NA’s :6550 | NA’s :116 | NA’s :4938 | NA’s :6889 | NA’s :9386 | NA’s :6882 | NA’s :3398 | NA’s :4786 | NA’s :8909 | NA’s :2949 | NA’s :2956 | NA’s :7594 | NA’s :4902 | NA’s :3714 | NA’s :3396 | NA’s :5122 | NA’s :3305 | NA’s :3351 | NA’s :6787 | NA’s :3850 | NA’s :3840 | NA’s :5393 | NA’s :1859 | NA’s :2114 | NA’s :2111 | NA’s :1856 | NA’s :4666 | NA’s :4275 | NA’s :4301 | NA’s :4267 | NA’s :5961 | NA’s :2950 | NA’s :4428 | NA’s :6939 | NA’s :5301 | NA’s :5301 | NA’s :5301 | NA’s :5301 | NA’s :4725 | NA’s :4731 | NA’s :4731 | NA’s :4731 | NA’s :4731 | NA’s :4731 | NA’s :4835 | NA’s :9686 | NA’s :10207 | NA’s :6397 | NA’s :7178 | NA’s :7311 | NA’s :3577 | NA’s :2485 | NA’s :2159 | NA’s :4839 | NA’s :4855 | NA’s :4839 | NA’s :4839 | NA’s :4839 | NA’s :2112 | NA’s :2485 | NA’s :2159 | NA’s :2485 | NA’s :4839 | NA’s :1997 | NA’s :1994 | NA’s :5615 | NA’s :5714 | NA’s :3095 | NA’s :815 | NA’s :9007 | NA’s :10312 | NA’s :9016 | NA’s :7868 | NA’s :10174 | NA’s :5253 |
Gold prices.csv - plik zawierający dane o cenach złota. Kolumny przedstawiają trzy waluty (USD, GBP, Euro), każdą w dwóch porach dnia (AM, PM). Dane zawarte w pliku przedstawiają okres od 02 stycznia 1968 roku, do 29 września 2021 roku. W orginalnym zbiorze obserwacje dotyczyły każdego dnia, jednak przedstawione podsumowanie jest dla danych już pogrupowanych względem miesięcy.
knitr::kable(summary(gp))| year | month | usdAm | usdPm | gbpAm | gbpPm | euroAm | euroPm | |
|---|---|---|---|---|---|---|---|---|
| Length:645 | Length:645 | Min. : 34.98 | Min. : 34.98 | Min. : 14.56 | Min. : 14.55 | Min. : 242.4 | Min. : 241.9 | |
| Class :character | Class :character | 1st Qu.: 281.80 | 1st Qu.: 282.87 | 1st Qu.: 177.03 | 1st Qu.: 178.51 | 1st Qu.: 334.8 | 1st Qu.: 334.5 | |
| Mode :character | Mode :character | Median : 383.20 | Median : 383.55 | Median : 234.35 | Median : 235.01 | Median : 894.1 | Median : 896.2 | |
| NA | NA | Mean : 575.00 | Mean : 577.36 | Mean : 370.39 | Mean : 371.97 | Mean : 797.3 | Mean : 797.0 | |
| NA | NA | 3rd Qu.: 832.62 | 3rd Qu.: 829.12 | 3rd Qu.: 451.82 | 3rd Qu.: 455.09 | 3rd Qu.:1114.6 | 3rd Qu.:1117.3 | |
| NA | NA | Max. :1952.85 | Max. :1951.05 | Max. :1489.78 | Max. :1484.63 | Max. :1649.8 | Max. :1647.0 | |
| NA | NA | NA | NA’s :3 | NA | NA’s :3 | NA’s :372 | NA’s :372 |
Sprawdzanie korelacji
Do analizy korelacji zostały przygotowane dwie podtabele.
Jedna z grup składa się z 5 elementów typu Income zawierających w sobie informacje o krajach o określonym poziomie zamożności. W orginalnym zbiorze jest 6 takich elementów. Należy jednak zauważyć że grupy Middle income wraz z Low income pokrywają w całości grupę Low & middle income, dlatego z analizy została wyłączona grupa łącząca oba poziomy zamożności.
Drugą grupą są dane dla całego świata (countryName == 'World').
Obie grupy zachowują wiedzę o całości populacji, zmniejszając wielkość przetwarzanych danych. Dodatkowym argumentem jest zmniejszenie liczby brakujących wartości - dla pojedynczego państwa istnieje większa szansa że dany wskaźnik nie został zbadany.
incomeCountries <- c('High income', 'Upper middle income', 'Middle income', 'Lower middle income', 'Low income')
worldCountries <- c('World')
wdiIncome <- filter(wdi, countryName %in% incomeCountries)
wdiWorld <- filter(wdi, countryName %in% worldCountries)Schemat działania na obu grupach jest taki sam.
- Wyliczana jest korelacja dla wszystkich wskaźników.
- Pozostawienie jedynie korelacji w zakresie +/- (0.8-0.9) - próba pozostawienia silnych korelacji, przy jednoczesnym pominięciu korelacji oczywistych (stąd górna granica).
- Usunięcie z tabeli wierszy/kolumn wypełnionych wartościami NA (w pełni).
- W przypadku liczby kolumn większej od 15 wybierana jest losowa próbka 15 kolumn.
- Dla wybranych kolumn ponownie wyliczana jest korelacja.
- Wyświetlenie wybranych kolumn wraz z ich opisami.
- Wyświetlenie ostatecznego wykresu korelacji.
Korelacja dla grup Income
wdiIncomeCor <- cor(select(wdiIncome, -c('countryName', 'year')), use="pairwise.complete.obs")
wdiIncomeCor[(wdiIncomeCor<0.8 & wdiIncomeCor>-0.8) | (wdiIncomeCor>0.9 | wdiIncomeCor<(-0.9))] = NA
wdiIncomeCor <- wdiIncomeCor+diag(NA, nrow(wdiIncomeCor))
selectedWdiIncomeCor <- wdiIncomeCor[
rowSums(is.na(wdiIncomeCor)) != ncol(wdiIncomeCor),
colSums(is.na(wdiIncomeCor)) != nrow(wdiIncomeCor)
]
setSeed()
sampledIncomeHighCorColumns <- colnames(selectedWdiIncomeCor)
sampledIncomeHighCorColumns <- if (length(sampledIncomeHighCorColumns) > 15) {
sample(sampledIncomeHighCorColumns, 15)
} else {
sampledIncomeHighCorColumns
}
sampledWdiIncomeCor <- cor(
select(wdiIncome, all_of(sampledIncomeHighCorColumns)),
use="pairwise.complete.obs"
)knitr::kable(
filter(serieCodesExplain, seriesCode %in% sampledIncomeHighCorColumns) %>%
arrange(seriesCode)
)| seriesCode | seriesName |
|---|---|
| BG.GSR.NFSV.GD.ZS | Trade in services (% of GDP) |
| BX.PEF.TOTL.CD.WD | Portfolio equity, net inflows (BoP, current US$) |
| EN.ATM.CO2E.KT | CO2 emissions (kt) |
| EN.ATM.CO2E.LF.ZS | CO2 emissions from liquid fuel consumption (% of total) |
| EN.ATM.CO2E.PP.GD | CO2 emissions (kg per PPP $ of GDP) |
| EN.POP.DNST | Population density (people per sq. km of land area) |
| NY.GDS.TOTL.ZS | Gross domestic savings (% of GDP) |
| SE.SEC.ENRL.UP.TC.ZS | Pupil-teacher ratio, upper secondary |
| SH.STA.DIAB.ZS | Diabetes prevalence (% of population ages 20 to 79) |
| SL.EMP.MPYR.ZS | Employers, total (% of total employment) (modeled ILO estimate) |
| SL.SRV.EMPL.ZS | Employment in services (% of total employment) (modeled ILO estimate) |
| SP.POP.SCIE.RD.P6 | Researchers in R&D (per million people) |
| SP.POP.TOTL | Population, total |
| SP.RUR.TOTL.ZS | Rural population (% of total population) |
| TM.VAL.TRAN.ZS.WT | Transport services (% of commercial service imports) |
corrplot(sampledWdiIncomeCor, order = 'alphabet', addCoef.col = 'black', col = colorRampPalette(c('#6fc712',"white","#12bcc4"))(100))
Podsumowanie dla grup Income
Wśród wybranych kolumn warty zauważenia jest wskaźnik SP.POP.SCIE.RD.P6 - liczba naukowców zaangażowanych w prace badawczo-rozwojowe (na milion osób). Jest on stosunkowo silnie skorelowany z 13/14 pozostałych kolumn. Wskaźnik ten jest silnie negatywnie (-0.96) skorelowany z liczbą ludności wiejskiej - co zdaje się być intuicyjne, gdyż większość instytucji naukowych zlokalizowana jest w dużych miastach.
Ze wskaźnikiem SP.POP.SCIE.RD.P6 pozytywnie (0.92) skorelowana jest częstość występowania cukrzycy (jako procent populacji w wieku 20-79 lat) - SH.STA.DIAB.ZS. Może to wskazywać iż naukowcy prowadzą niezdrowy styl życia - zaangażowani w pracę nad badaniami mogą spożywać dania typu fast food, nie mieć czasu na aktywność fizyczną, a dla odreagowania stresu - uciekać w używki. Wskaźnik częstości występowania cukrzycy jest jednak negatywnie skorelowany ze wskaźnikiem prezentującym dane o usługach transportowych (TM.VAL.TRAN.ZS.WT). Wzrost procentowego udziału transportu wiąże się z większą liczbą ludzi zatrudnionych w tym sektorze, a negatywna korelacja (-0.82) z częstością występowania cukrzycy może oznaczać, iż pracownicy ci dbają o swoje zdrowie bardziej niż naukowcy.
Korelacja dla grupy World
wdiWorldCor <- cor(select(wdiWorld, -c('countryName', 'year')), use="pairwise.complete.obs")
wdiWorldCor[(wdiWorldCor<0.8 & wdiWorldCor>-0.8) | (wdiWorldCor>0.9 | wdiWorldCor<(-0.9))] = NA
wdiWorldCor <- wdiWorldCor+diag(NA, nrow(wdiWorldCor))
selectedWdiWorldCor <- wdiWorldCor[
rowSums(is.na(wdiWorldCor)) != ncol(wdiWorldCor),
colSums(is.na(wdiWorldCor)) != nrow(wdiWorldCor)
]
setSeed()
sampledWorldHighCorColumns <- colnames(selectedWdiWorldCor)
sampledWorldHighCorColumns <- if (length(sampledWorldHighCorColumns) > 15) {
sample(sampledWorldHighCorColumns, 15)
} else {
sampledWorldHighCorColumns
}
sampledWdiWorldCor <- cor(
select(wdiWorld, all_of(sampledWorldHighCorColumns)),
use="pairwise.complete.obs"
)knitr::kable(
filter(serieCodesExplain, seriesCode %in% sampledWorldHighCorColumns) %>%
arrange(seriesCode)
)| seriesCode | seriesName |
|---|---|
| EG.ELC.NGAS.ZS | Electricity production from natural gas sources (% of total) |
| EG.ELC.RNEW.ZS | Renewable electricity output (% of total electricity output) |
| EN.ATM.CO2E.LF.KT | CO2 emissions from liquid fuel consumption (kt) |
| EN.URB.LCTY.UR.ZS | Population in the largest city (% of urban population) |
| IC.BUS.DFRN.XQ | Ease of doing business score (0 = lowest performance to 100 = best performance) |
| IP.PAT.NRES | Patent applications, nonresidents |
| IP.PAT.RESD | Patent applications, residents |
| IP.TMK.TOTL | Trademark applications, total |
| NY.GDP.MKTP.CD | GDP (current US$) |
| SE.PRM.TCAQ.ZS | Trained teachers in primary education (% of total teachers) |
| SE.SEC.ENRL.TC.ZS | Pupil-teacher ratio, secondary |
| SG.GEN.PARL.ZS | Proportion of seats held by women in national parliaments (%) |
| SP.DYN.CBRT.IN | Birth rate, crude (per 1,000 people) |
| SP.DYN.LE00.IN | Life expectancy at birth, total (years) |
| SP.POP.GROW | Population growth (annual %) |
corrplot(sampledWdiWorldCor, order = 'alphabet', addCoef.col = 'black', col = colorRampPalette(c('#6fc712',"white","#12bcc4"))(100))
Podsumowanie dla grupy World
Dla wskaźników światowych wybrane zostały wskaźniki o wysokich korelacjach. Ciekawy może być stopień negatywnej korelacji (-0.98) między odsetkiem zajmowanych miejsc w parlamentach państwowych przez kobiety (SG.GEN.PARL.ZS), a wskaźnikiem urodzeń na 1000 osób (SP.DYN.CBRT.IN). Można wywnioskować, że kobiety niestety muszą w życiu wybierać między karierą, a rodziną.
Dwa wskaźniki odnoszące się do liczby zgłoszeń patentowych (IP.PAT.NRES, IP.PAT.RESD) są ze sobą silnie pozytywnie (0.92) skorelowane. Jest to o tyle ciekawe, gdyż można by się spodziewać stosunkowo stałej sumarycznej liczby zgłoszeń - od podmiotów krajowych oraz spoza kraju. Jednak gdyby tak było, wskaźniki te powinny być skorelowane negatywnie.
Dla tych danych zaskakujące jest, że wartości 1 występują nie tylko na głównej przekątnej - są wskaźniki idealnie ze sobą skorelowane. W tym korelogramie znalazły się również znaki zapytania - symbolizują one wartość NA, która powstała ze względu na brak pełnych par dla danej pary zmiennych.
Wykres
Animacja przedstawia zależności liczby ludności w poszczególnych grupach wiekowych (0-14, 15-64, 65+) dla grup Income.
wdiIncomeForAnimate <- wdiIncome %>%
select(
countryName,
year,
SP.POP.TOTL,
SP.POP.0014.TO.ZS,
SP.POP.1564.TO.ZS,
SP.POP.65UP.TO.ZS
) %>%
mutate(SP.POP.0014.TO.ZS=SP.POP.0014.TO.ZS*SP.POP.TOTL/100,
SP.POP.1564.TO.ZS=SP.POP.1564.TO.ZS*SP.POP.TOTL/100,
SP.POP.65UP.TO.ZS=SP.POP.65UP.TO.ZS*SP.POP.TOTL/100
) %>%
gather('age', 'value', 3:6) %>%
arrange(countryName)
wdiIncomeForAnimate$age = recode(
wdiIncomeForAnimate$age,
SP.POP.TOTL = "Razem",
SP.POP.0014.TO.ZS = "Do 14 lat",
SP.POP.1564.TO.ZS = "Od 15 do 64 lat",
SP.POP.65UP.TO.ZS = "Od 65 lat"
)
ggplot(
wdiIncomeForAnimate,
aes(x = year, y=value, color=age)
) +
geom_line() +
scale_color_viridis_d() +
labs(x = "Rok", y = "Liczba ludności") +
geom_point() +
transition_reveal(year) +
facet_wrap(~countryName)
Regresor przewidujący ceny złota
Problemem przy próbie stworzenia regresora jest różna ziarnistość danych - w orginalnym zbiorze danych dla cen złota jest to dzień, dla wskaźników - rok. Ponieważ dostępne są dane z około 40 lat, ograniczenie się do obserwacji jednej na rok ograniczyło by zbiór danych do poziomu uniemożliwiającego przeprowadzenie uczenia maszynowego. Z drugiej strony powielanie danych odnośnie wskaźników do każdego dnia mogłoby utrudnić analizę, ze względu na konieczność przewidzenia ~365 różnych wartości cen złota, na podstawie jednej wartości wskaźnika. Z powyższych względów dane zostały przekształcone do obserwacji miesięcznych.
Etapy tworzenia regresora:
- Dodatkowe czyszczenie danych - ograniczenie do lat [1980, 2020], usunięcie kolumn dla których liczba
NAprzekracza 30%, dodatkowo dla danych o wskaźnikach - zastąpienie brakujących danych medianą dla danej kolumny (zastąpienie brakujących danych wartością średnią nie powinna znacząco zaburzyć trendu danych). - Połączenie danych oraz posortowanie względem daty (rok, miesiąc).
- Podzielenie zbioru na cztery części (25%, 35%, 20%, 20%).
- Uczenie na wstępnych danych w celu wybrania wskaźników istotnych dla modelu.
- Ograniczenie pozostałych zbiorów do istotnych wskaźników.
- Uczenie na zbiorze treningowym.
- Zweryfikowanie wyników dla poszczególnych parametrów, ustawienie
lambda = seq(0, 0.001, 0.0001). - Znalezienie lepszej wartości parametru
lambdaz wykorzystaniem zbioru walidującego oraz metryki RSME. - Dokonanie predykcji na zbiorze testowym oraz porównanie z wartościami rzeczywistymi.
Wstępne przetwarzanie danych + podział
wdiWorld <- filter(wdi, countryName %in% worldCountries)
forRegGold <- filter(gp, year >= 1980 & year <= 2020)
forRegGold <- forRegGold[,!sapply(forRegGold, function(x) mean(is.na(x)))>0.3]
forRegWorld <- filter(wdiWorld, year >= 1980 & year <= 2020)
forRegWorld <- forRegWorld[,!sapply(forRegWorld, function(x) mean(is.na(x)))>0.3]
forRegWorld <- forRegWorld %>%
mutate(across(everything(), ~replace_na(.x, median(.x, na.rm = T))))
forRegresion <- merge(forRegWorld, forRegGold) %>%
select(-c(countryName, usdPm, gbpPm, gbpAm)) %>%
arrange(year, month)
preTrain <- slice(forRegresion, 1:floor(n()*0.25)) %>% select(-c(year, month))
train <- slice(forRegresion, floor(n()*0.25)+1:floor(n()*0.6)) %>% select(-c(year, month))
validation <- slice(forRegresion, floor(n()*0.6)+1:floor(n()*0.8)) %>% select(-c(year, month))
test <- slice(forRegresion, floor(n()*0.8)+1:n()) %>% select(-c(year, month))Wstępna predykcja
preFit <- train(usdAm ~ .,
data = preTrain,
method = "ridge")
ggplot(varImp(preFit))
selectedColumnsForRegresion <- rownames(
varImp(preFit)$importance %>% arrange(desc(Overall))
)[1:15]
knitr::kable(
filter(serieCodesExplain, seriesCode %in% selectedColumnsForRegresion) %>%
arrange(seriesCode)
)| seriesCode | seriesName |
|---|---|
| BG.GSR.NFSV.GD.ZS | Trade in services (% of GDP) |
| CM.MKT.TRNR | Stocks traded, turnover ratio of domestic shares (%) |
| EG.ELC.FOSL.ZS | Electricity production from oil, gas and coal sources (% of total) |
| EN.ATM.CO2E.EG.ZS | CO2 intensity (kg per kg of oil equivalent energy use) |
| EN.URB.LCTY.UR.ZS | Population in the largest city (% of urban population) |
| IP.TMK.NRES | Trademark applications, direct nonresident |
| IP.TMK.RESD | Trademark applications, direct resident |
| NY.GDP.NGAS.RT.ZS | Natural gas rents (% of GDP) |
| NY.GDP.TOTL.RT.ZS | Total natural resources rents (% of GDP) |
| SE.PRM.ENRL.TC.ZS | Pupil-teacher ratio, primary |
| SP.POP.0014.TO.ZS | Population ages 0-14 (% of total population) |
| SP.POP.1564.TO.ZS | Population ages 15-64 (% of total population) |
| SP.URB.GROW | Urban population growth (annual %) |
| TM.VAL.TRAN.ZS.WT | Transport services (% of commercial service imports) |
| TX.VAL.TRAN.ZS.WT | Transport services (% of commercial service exports) |
Uczenie maszynowe na danych treningowych
train <- train %>% select(any_of(c('usdAm', selectedColumnsForRegresion)))
validation <- validation %>% select(any_of(c('usdAm', selectedColumnsForRegresion)))
test <- test %>% select(any_of(c('usdAm', selectedColumnsForRegresion)))
fit <- train(usdAm ~ .,
data = train,
metric = "RSME",
method = "ridge")
fit## Ridge Regression
##
## 295 samples
## 15 predictor
##
## No pre-processing
## Resampling: Bootstrapped (25 reps)
## Summary of sample sizes: 295, 295, 295, 295, 295, 295, ...
## Resampling results across tuning parameters:
##
## lambda RMSE Rsquared MAE
## 0e+00 110.2704 0.9414304 85.20494
## 1e-04 109.4521 0.9425260 83.66380
## 1e-01 125.0602 0.9271574 97.89414
##
## RMSE was used to select the optimal model using the smallest value.
## The final value used for the model was lambda = 1e-04.Optymalizacja parametrów
rfGrid <- expand.grid(lambda = seq(0, 0.001, 0.0001))
fitTune <- train(usdAm ~ .,
data = validation,
method = "ridge",
metric = "RMSE",
tuneGrid = rfGrid)
fitTune## Ridge Regression
##
## 197 samples
## 15 predictor
##
## No pre-processing
## Resampling: Bootstrapped (25 reps)
## Summary of sample sizes: 197, 197, 197, 197, 197, 197, ...
## Resampling results across tuning parameters:
##
## lambda RMSE Rsquared MAE
## 0e+00 92.37935 0.9444399 69.67877
## 1e-04 93.04323 0.9435478 70.94715
## 2e-04 93.83551 0.9425746 72.02702
## 3e-04 94.47255 0.9417966 72.79672
## 4e-04 95.01197 0.9411394 73.40360
## 5e-04 95.47447 0.9405766 73.89262
## 6e-04 95.87476 0.9400895 74.30987
## 7e-04 96.22455 0.9396639 74.67964
## 8e-04 96.53316 0.9392884 75.00738
## 9e-04 96.80797 0.9389539 75.29748
## 1e-03 97.05483 0.9386534 75.55440
##
## RMSE was used to select the optimal model using the smallest value.
## The final value used for the model was lambda = 0.Podsumowanie
predictions <- predict(fitTune, newdata = test)
knitr::kable(test %>%
select(usdAm) %>%
mutate(pred = predictions, abs_of_diff=abs(pred-usdAm)))| usdAm | pred | abs_of_diff |
|---|---|---|
| 1747.750 | 1658.071 | 89.678505 |
| 1725.750 | 1658.071 | 67.678505 |
| 1694.750 | 1658.071 | 36.678505 |
| 1672.375 | 1411.956 | 260.419481 |
| 1635.500 | 1411.956 | 223.544481 |
| 1591.250 | 1411.956 | 179.294481 |
| 1472.500 | 1411.956 | 60.544481 |
| 1410.250 | 1411.956 | 1.705519 |
| 1377.000 | 1411.956 | 34.955519 |
| 1281.250 | 1411.956 | 130.705519 |
| 1339.500 | 1411.956 | 72.455519 |
| 1340.250 | 1411.956 | 71.705519 |
| 1316.000 | 1411.956 | 95.955519 |
| 1281.000 | 1411.956 | 130.955519 |
| 1225.625 | 1411.956 | 186.330519 |
| 1242.625 | 1271.909 | 29.284243 |
| 1311.125 | 1271.909 | 39.215757 |
| 1338.500 | 1271.909 | 66.590757 |
| 1296.625 | 1271.909 | 24.715757 |
| 1292.000 | 1271.909 | 20.090757 |
| 1269.000 | 1271.909 | 2.909243 |
| 1312.000 | 1271.909 | 40.090757 |
| 1294.000 | 1271.909 | 22.090757 |
| 1236.875 | 1271.909 | 35.034243 |
| 1228.000 | 1271.909 | 43.909243 |
| 1178.250 | 1271.909 | 93.659243 |
| 1199.250 | 1271.909 | 72.659243 |
| 1258.250 | 1161.544 | 96.706413 |
| 1225.500 | 1161.544 | 63.956413 |
| 1180.325 | 1161.544 | 18.781413 |
| 1201.450 | 1161.544 | 39.906413 |
| 1191.250 | 1161.544 | 29.706413 |
| 1180.750 | 1161.544 | 19.206413 |
| 1145.100 | 1161.544 | 16.443587 |
| 1117.325 | 1161.544 | 44.218587 |
| 1124.600 | 1161.544 | 36.943587 |
| 1164.975 | 1161.544 | 3.431413 |
| 1085.150 | 1161.544 | 76.393587 |
| 1068.000 | 1161.544 | 93.543587 |
| 1095.425 | 1255.946 | 160.521319 |
| 1204.400 | 1255.946 | 51.546319 |
| 1244.250 | 1255.946 | 11.696319 |
| 1240.300 | 1255.946 | 15.646319 |
| 1269.200 | 1255.946 | 13.253681 |
| 1280.100 | 1255.946 | 24.153681 |
| 1332.200 | 1255.946 | 76.253681 |
| 1340.975 | 1255.946 | 85.028681 |
| 1327.700 | 1255.946 | 71.753681 |
| 1265.900 | 1255.946 | 9.953681 |
| 1227.300 | 1255.946 | 28.646319 |
| 1155.875 | 1255.946 | 100.071319 |
| 1196.350 | 1246.114 | 49.764082 |
| 1233.175 | 1246.114 | 12.939082 |
| 1232.050 | 1246.114 | 14.064082 |
| 1265.250 | 1246.114 | 19.135918 |
| 1251.350 | 1246.114 | 5.235918 |
| 1258.425 | 1246.114 | 12.310918 |
| 1235.200 | 1246.114 | 10.914082 |
| 1283.100 | 1246.114 | 36.985918 |
| 1318.400 | 1246.114 | 72.285918 |
| 1278.350 | 1246.114 | 32.235918 |
| 1283.050 | 1246.114 | 36.935918 |
| 1265.850 | 1246.114 | 19.735918 |
| 1334.550 | 1275.009 | 59.540782 |
| 1331.750 | 1275.009 | 56.740782 |
| 1323.900 | 1275.009 | 48.890782 |
| 1336.275 | 1275.009 | 61.265782 |
| 1303.950 | 1275.009 | 28.940782 |
| 1292.250 | 1275.009 | 17.240782 |
| 1242.075 | 1275.009 | 32.934218 |
| 1204.350 | 1275.009 | 70.659218 |
| 1199.100 | 1275.009 | 75.909218 |
| 1220.000 | 1275.009 | 55.009218 |
| 1223.350 | 1275.009 | 51.659218 |
| 1246.800 | 1275.009 | 28.209218 |
| 1289.850 | 1389.012 | 99.162411 |
| 1319.375 | 1389.012 | 69.637411 |
| 1303.000 | 1389.012 | 86.012411 |
| 1286.975 | 1389.012 | 102.037411 |
| 1282.950 | 1389.012 | 106.062411 |
| 1340.075 | 1389.012 | 48.937411 |
| 1417.550 | 1389.012 | 28.537589 |
| 1500.350 | 1389.012 | 111.337589 |
| 1504.950 | 1389.012 | 115.937589 |
| 1494.250 | 1389.012 | 105.237589 |
| 1465.600 | 1389.012 | 76.587589 |
| 1475.350 | 1389.012 | 86.337589 |
| 1557.300 | 1771.334 | 214.033716 |
| 1579.575 | 1771.334 | 191.758716 |
| 1614.900 | 1771.334 | 156.433716 |
| 1697.900 | 1771.334 | 73.433716 |
| 1716.400 | 1771.334 | 54.933716 |
| 1732.275 | 1771.334 | 39.058716 |
| 1809.300 | 1771.334 | 37.966284 |
| 1952.850 | 1771.334 | 181.516284 |
| 1932.500 | 1771.334 | 161.166284 |
| 1903.975 | 1771.334 | 132.641284 |
| 1876.200 | 1771.334 | 104.866284 |
| 1861.350 | 1771.334 | 90.016284 |
ggplot(varImp(fitTune))
Analiza miar oceny
Po części optymalizującej parametry wyświetlony został obiekt fitTune. Przedstawia on wyniki dla trzech podstawowych miar oceny regresji - RSME, Rsquared oraz MAE. Dla wybranego parametru lambda=0 wyniki przedstawiają się następująco:
- RSME - pierwiastek błędu średniokwadratowego. Miara ta informuje o ile średnio estymator myli się w swoich obliczeniach. Dla wybranego modelu wynosi on 92.37935. Dla minimalnej wartości ceny złota dla oczyszczonego zbioru - 255.125 jest to ok 36.2%. Jednak dla średniej wartości - 686.5649 jest to już błąd rzędu 13.5%.
- R2 - R-kwadrat. Miara ta wyjaśnia, w jakim stopniu wariancja jednej zmiennej jest wyjaśniana przez wariancję drugiej. Wynik 0.9444399 oznacza, że ponad 94% obserwowanej zmienności można wyjaśnić danymi wejściowymi.
- MAE - miara podobna do RSME. MAE jest to średni błąd bezwzględny. Miara ta jednak jest wyliczenia jako wartość bezwzględna między wartością rzeczywistą, a estymowaną, w przeciwieństwie do RSME gdzie jest to wyliczane jako pierwiastek kwadratu błędu. Główną różnicą jest to, że miara RSME jest bardziej wrażliwa na większe błędy. Ponieważ miara MAE wynosi 69.67877, może to oznaczać, że zdarzają się w zbiorze duże pomyłki.
Analiza ważności atrybutów
Na wyświetlonych wykresach ważności atrybutów dla modelu preFit oraz fitTue można zauważyć duże różnice w ważności atrybutów. W ostatecznym modelu trzy najbardziej znaczące wskaźniki - EN.URB.LCTY.UR.ZS, SP.URB.GROW, SP.POP.0014.TO.ZS w modelu wstępnym zajmowały odpowiednio 13, 10, i 14 miejsce. Pierwsze dwa wskaźniki odnoszą się do ludności w miastach - co może sugerować, że miejskie życie, napędzając gospodarkę, znacząco wpływa na cenę złota. Kolejne dwa odnoszą się do liczby ludzi w wieku <14 oraz 15-64 lat. Liczba dzieci wpływa na liczbę ludności, także w miastach. Wpływ liczby lundości w wieku 15-64 może wskazywać na to, że ludzie w wieku produkcyjnym, swoim trybem życia, sprzyjają rozwojowi gospodarki.